Deep Extreme Learning Machine and Its Application in EEG Classification
Regularized Extreme Learning Machine
ELMは学習スピードの速さと高い一般化のパフォーマンスにおいて優位性があるが、堅牢性において問題がある
ネットワークの一般化性能向上と結果の安定性を高めるため、$ \betaに正規化項を追加した
$ C を experiential risk と structural risk を調整するスケールパラメータとすると$ \beta + CH^T(Y - H\beta) = 0 になるようにしたい
トレーニングサンプル数が隠しノード数よりも多い場合
$ \beta = (\frac{I}{C} + H^TH)^{-1}H^TY
トレーニングサンプル数が隠しノード数よりも少ない場合
$ \beta = H^T(\frac{I}{C} + HH^T)^{-1}Y
ここで
$ Iは単位行列
$ Cは$ 10^nの形で設定されることが多いよう
主に $ nは -8 〜 8
後のELMの検証では $ n=3を使っていた